这也是为什么,超低延迟的 RTSP/RTMP 播放器不再是“播放器里的一个配置项”,而是具身智能和低空经济里那条“看不见但最关键”的基础设施。 因此,在具身智能和低空经济的很多项目里,RTSP 往往是设备端最先稳定下来的那一条输出链路。2. 五、具身智能场景:RTSP/RTMP 播放器在“动作系统”里的位置站在具身智能的视角,我们可以把系统拆成四层: 感知层(Perception) 摄像头、雷达、IMU、编码器等; 视频在这里就是“第一感知通道 一个典型的具身智能 / 低空经济项目,如果用到大牛直播SDK 的 RTSP/RTMP 播放器,通常会有这样的集成方式(高层设计): 终端/设备端 摄像头 → H.264/H.265 编码 → RTSP 这一套下来,你并不需要从零实现一个跨平台、支持各种奇葩码流的低延迟播放器,而是: 直接把“超低延迟 RTSP/RTMP 播放模块”当一个能力块嵌进去, 重点精力放在你真正要做的核心价值: 具身智能的决策策略
从展区到主论坛,再到各大企业发布的新品线,可以清晰看到:AI 正在告别纯“云上智囊”式的角色,逐步迈向物理世界中的可视化、可移动、可感知的具身智能系统。 什么是“具身智能”? 跨平台开发成本高、维护困难 弱网不稳定 网络抖动/断流无自动恢复机制 视频输入链断裂,系统失效风险大 具身智能背景下,视频入口模块的新要求 为支撑 AI 系统高质量感知输入,视频处理模块必须从“播放器 在 AI 正全面迈向“可视化、可感知、可操控”的具身智能阶段,视频输入模块早已不再是可有可无的“播放器插件”,而是智能系统中与推理引擎并列的重要组成部分。 未来 AI 系统的感知架构趋势:入口层地位持续上升 具身智能系统的标准感知链条逐步清晰: 过去,这一流程的“入口层”往往使用开源播放器或简单软解处理,而未来,视频入口将承担以下核心职责: 核心职责 技术要求 多源接入 支持 RTSP/RTMP/HTTP-FLV等主流流媒体协议 可编排性 视频数据帧级输出,支持与 AI 模型并行处理 智能协同 可嵌入到 AI 系统中与识别/控制模块高效协作 跨平台适配
具身智能核心技术概述 具身智能(Embodied Intelligence)强调智能体通过与物理环境的交互来学习和发展认知能力。其核心技术包括感知、决策、控制和多模态学习等模块。
这正是 大牛直播SDK 之类的工程化基建发挥作用的地方: 低延迟传输:RTSP 播放器保证毫秒级实时性,RTMP 播放器保证公网大规模分发的稳定。 三、具身智能的瓶颈与突破1. 泛化能力:从“会做一次”到“能适应百次”当前的具身智能,最大的挑战在于 泛化能力不足。 小结泛化、数据、仿真,是具身智能三大核心瓶颈。而它们的共同需求,都是 高效、标准化、低延迟的数据链路。 远期(2030+):具身智能进入“思考”阶段当机器人真正跨入 认知与思考 阶段,它们将不仅是任务执行者,而是具备 自主学习与长时序推理能力 的智能体。 算法和硬件固然重要,但没有工程化的基础设施,具身智能就只能停留在实验室的 Demo。
具身智能的落地案例分析 具身智能(Embodied Intelligence)强调智能体通过与物理环境的交互来学习,近年已从实验室逐步走向实际应用。以下为典型落地案例: 1. ROS2的实时调度策略 关键算法模块采用C++加速(如使用Eigen库进行矩阵运算) 安全机制 硬件急停回路与软件看门狗双冗余设计 ISO 13849标准下的PLd级安全认证实现 以上案例与代码展示了具身智能在感知
网络空间中的智能体通常被称为“非具身AI”,而物理空间中的智能体则称为“具身AI”(见表I)。 当前,具身人工智能涵盖计算机视觉(CV)、自然语言处理(NLP)和机器人学等多个关键技术领域,最具代表性的方向包括:具身感知、具身交互、具身智能体和仿真到现实的机器人控制[7]。 因此,有必要通过全面综述,把握具身人工智能在通向AGI道路上不断演进的发展图景。 具身智能体是具身人工智能最核心的基础。 • 我们将具身人工智能系统性地划分为若干核心组成部分,包括机器人、仿真平台,以及四大研究任务:具身感知、具身交互、具身智能体和仿真到现实迁移,从而构建了具身人工智能的详细分类体系。 II 、具身机器人 具身智能体与物理环境进行交互,包括机器人、智能家电、自动驾驶车辆等。
具身智能(Embodied AI)指的是拥有物理形态的人工智能系统,这些系统能够在真实的物理环境中进行学习和操作,与周围世界实现动态交互。 相对于数字环境的AI,这项能力对于需要与物理世界亲密接触的具身智能来说显得更为重要。 而这对于接下来具身智能对世界的理解与交互来说,是非常重要的基础工作。 不管哪种方式,对于具身智能这项复杂工程,都是有益且必要的。随着技术的发展和市场的变化,开源与闭源之间的界限也在逐渐变得模糊,未来可能会出现更多结合两者优点的混合模式,共同解决具身智能这一多学科难题。 总的来说,要实现具身智能,还需要做大量的工作。“没有灵魂的躯体是一具行尸走肉,没有躯体的灵魂是一缕虚无幽灵。”在具身智能的发展过程中,具身和智能缺一不可,且需要达到高度的有机结合。
AI科技评论:在您看来,智能体与具身智能之间有什么联系? 芮勇:我认为,智能体是一个统筹的概念。智能体基于大模型而又超越于大模型,智能体同时也是离身智能和具身智能的基础。 在数字空间的智能体,我们一般称为离身智能(Disembodied AI);存在于物理空间的智能体就是具身智能(Embodied AI)。具身智能包括在机器人方向的具身智能,也包括了车和其他设备。 此外,比如同样是对知识库和工具库的调用,离身智能和具身智能所调用的库是完全不一样的。 AI科技评论:您认为具身智能最适合的载体是什么样的? AI科技评论:从某种意义上来说,具身智能因为具有和物理环境进行交互的特点,应该是更高级的一种智能形态,您如何看待具身智能和 AGI 之间的关系? 芮勇:我觉得 AGI 跟离身智能、具身智能都有关系。 芮勇:就像刚才谈到的,从小模型到大模型,大模型再到智能体,智能体包括离身智能、具身智能,这一发展脉络还是挺清晰的,所以我不觉得具身智能会是昙花一现,现在具身智能确实是一个主流的研究方向。
技术背景好多开发者拿到大牛直播SDK的Android平台RTSP、RTMP播放模块,基本上不看说明,测试后,就直接集成到自己系统了。 从高效率的角度,磨刀不误砍柴工,在模块集成之前,还是希望开发者能了解播放器集成的一些前置条件,少走弯路,尽快完成RTSP、RTMP低延迟播放能力构建。 本文不关注接口集成调用细节,主要介绍下,播放器集成的一些前置条件和注意事项。 |RTMP直播播放器Demo工程源码SmartPlayerV2\app\src\main\jniLibssmartavengine.jar和libSmartPlayer.soSmartPlayerV2\ /RTSP url开始播放SmartPlayerStartPlay开始播放RTSP/RTMP流停止播放SmartPlayerStopPlay停止播放RTSP/RTMP流关闭播放实例SmartPlayerClose
我们在实现Windows平台RTSP播放器或RTMP播放器的时候,需要考虑的点很多,比如多实例设计、多绘制模式兼容、软硬解码支持、快照、RTSP下TCP-UDP自动切换等,以下就其中几个方面,做个大概的探讨 is_gdi_render_ = true; playWnd.Visible = false; // 不支持D3D就让播放器吐出数据来 实时快照 实时快照功能不表,是一个好的RTSP播放器和RTMP播放器必备的功能,实时快照是把解码后的yuv数据重新编码成png,所以有一定的CPU消耗,不建议过于频繁操作,具体实现如下: set_capture_image_call_back_(result, image_name); } } 后续,我们将针对RTSP 和RTMP播放器设计过程中的其他点,做更进一步的探讨,谢谢大家的关注。
本期为《仲夏六日谈》第三季第一期节目文字内容,主题为《具身智能:信仰还是FOMO?》。十大看点:·具身智能会昙花一现吗?·AIGC下“具身智能”有哪些特别之处?·机器人为什么也要有“大脑、小脑”? 关于具身智能,大家说得比较多的一点是,必然得通过具身智能才有可能达到AGI这一步。 张恒第:具身智能这个词,其实是近两年才出现的。有一年,英伟达的黄仁勋突然把具身智能这个词提出来了。 没有那么大的区别,真正的区别可能还是在大脑里,所以我觉得,现在的具身智能和以前的具身智能之间最大的区别是大脑和身体的强绑定。 但具身智能怎么办?离具身智能最近的一个解决方案可能是自动驾驶。
好多开发者在QT环境下实现RTMP或RTSP播放时,首先考虑到的是集成VLC,集成后,却发现VLC在延迟、断网重连、稳定性等各个方面不尽人意,无法满足上线环境需求。 本文以调用大牛直播SDK(官方)的Windows平台播放端SDK为例,介绍下如何在QT下实现低延迟的RTMP|RTSP播放器,废话不多说,先上图: QTPlayer.png 大牛直播SDK有MFC的demo OpenPlayerHandle(url, is_rtsp_tcp_mode, is_mute)) return false; player_api_->SetBuffer(player_handle play->OnWindowSize(widgets.at(i)->width(), widgets.at(i)->height()); } } } 以上是QT环境下集成个低延迟的RTMP 、RTSP播放的基本流程,感兴趣的开发者可酌情参考。
引言2025 年,具身智能(Embodied Intelligence)毫无疑问已经成为全球资本追逐的“风口赛道”。 从人形机器人、无人配送,到低空经济和智能驾驶,几乎所有与物理世界深度结合的领域,都被纳入具身智能的广义范畴。 通过 RTSP/RTMP 超低延迟推流、跨平台播放器、轻量级 RTSP 服务、多路转发、GB28181 接入、录像与快照、Unity3D/VR 集成 等模块,SmartMediaKit 为具身智能提供了稳定 SmartMediaKit 支持 RTSP/RTMP/HTTP-FLV/GB28181 多协议,帮助避免封闭生态的孤岛效应。 当资本逐渐从追逐“概念展示”转向聚焦“真实场景的价值沉淀”时,谁能掌握稳定、可扩展的底层技术,谁就能在具身智能的新时代抢占先机。结语具身智能的投资逻辑,归根结底是对“虚实融合”的下注。
技术背景大牛直播SDK自2015年发布RTSP、RTMP直播播放模块,迭代从未停止,SmartPlayer功能强大、性能强劲、高稳定、超低延迟、超低资源占用。 无需赘述,全自研内核,行业内一致认可的跨平台RTSP、RTMP直播播放器。本文以iOS平台为例,介绍下如何集成RTSP、RTMP播放模块。 |RTSP直播播放,我们设计实现的功能如下:音频:AAC/PCMA/PCMU/SPEEX(RTMP);视频:H.264;播放协议:RTMP或RTSP;支持纯音频、纯视频、音视频播放;支持多实例播放;支持网络状态 /RTMP流停止播放SmartPlayerStop停止播放RTSP/RTMP流销毁播放实例SmartPlayerUnInitPlayer结束时必须调用close接口释放资源录像模块接口详解如需录像,录像相关的接口如下 由于设备和系统比较单一,优先考虑硬解码,除了基础播放外,我们还实现了实时快照、实时录像、实时回调YUV数据、实时音量调节等,实际体验下来,iOS平台RTMP和RTSP,可以轻松毫秒级。
概述与优势1.1 SDK功能特性1.1.1 支持协议与格式 支持RTMP、RTSP协议,兼容H.265、H.264视频格式及AAC、PCMA等音频格式,满足多样化播放需求。 提供RTSP TCP/UDP模式设置及自动切换功能,适应不同网络环境,确保播放稳定性。 1.1.2 性能优化特性 内置低延迟模式,可将延迟控制在毫秒级别,满足实时性要求高的场景。 Unity播放器架构设计2.1 核心模块划分2.1.1 PlayerInstance模块 管理单个播放实例的生命周期,负责视频播放、录制及视频帧回调。 开启RTSP TCP/UDP自动切换功能,使播放器能根据网络状况自动选择最优传输模式。 /RTMP播放器,适用于VR、安防、直播等高实时性场景。
摘要本文详细介绍了在 Android 平台上集成 RTSP 和 RTMP 直播播放模块的技术背景、系统要求、准备工作、接口设计、功能支持以及接口调用流程。 三、准备工作在集成 RTSP/RTMP 播放模块之前,需要完成以下准备工作:1. SmartPlayerSetUrl:设置需要播放或录像的 RTMP/RTSP URL。 SmartPlayerStartPlay:开始播放 RTSP/RTMP 流。 SmartPlayerStopPlay:停止播放 RTSP/RTMP 流。 SmartPlayerClose:结束时调用 close 接口释放资源。 五、功能支持 音频支持:AAC、Speex(RTMP)、PCMA、PCMU。 视频支持:H.264、H.265。 播放协议:RTSP、RTMP。 播放模式:支持纯音频、纯视频、音视频播放。
我们在Windows平台实现RTSP或者RTMP播放的时候,有个功能是绕不开的,那就是播放窗口全屏。 本文就以大牛直播SDK(官方)的Windows播放器为例,大概讲下大概实现: 全屏播放需要考虑的点不多: 第一:视频播放后,全屏的意义; 第二:全屏后,是否等比例显示,我们的设计原则是,之前等比例显示的
很多开发者在开发RTSP或RTMP播放器的时候,不晓得哪些event回调事件是有意义的,针对此,我们以大牛直播SDK(github)的Android平台RTSP/RTMP直播播放端为例,简单介绍下常用的 流实时下载回调:显示播放rtsp或rtmp流时,实时流量,注意,这块最好是可设置回调时间间隔,防止不必要的资源消耗; 8. RTSP错误状态:如401鉴权不通过。 会返回缓冲百分比)EVENT_DANIULIVE_ERC_PLAYER_STOP_BUFFERING停止缓冲数据EVENT_DANIULIVE_ERC_PLAYER_DOWNLOAD_SPEED返回当前 RTSP /RTMP 流 实时下载速度EVENT_DANIULIVE_ERC_PLAYER_RTSP_STATUS_CODERTSP 收到错误码,可能 是用户名、密码不对
如果具身智能领域会出现一个 OpenAI 级别的公司,我觉得 Physical Intelligence 是目前最接近的 10 亿美元融资,56 亿美元估值,18 个月发了 11 篇研究,已经有客户在用他们的模型做真实业务 融资速度:20 个月,10 亿美元 PI 的融资节奏可能是具身智能领域最快的: • 2024.03 种子轮 7000 万美元(Thrive Capital、OpenAI、Lux Capital) • 2024.11 写在最后 豪斯曼说过一句话:核心挑战不是机械设计,是智能。 大部分机器人公司把精力花在腿怎么走、手怎么抓上面。PI 赌的是另一条路:只要大脑够聪明,身体是谁的都行。 这个赌注能不能最终成立?我不确定。
它首次实现了秀丽线虫神经系统、身体与环境的闭环仿真,不仅填补生物智能模拟领域空白,还为具身智能发展和AI实际应用开辟了全新路径。 这一工作不仅为研究生物智能提供了新的平台,也为具身智能理论的进一步发展和人工智能领域的应用奠定了基础。 articles/s43588-024-00740-2 BAAIWorm GitHub地址: https://github.com/Jessie940611/BAAIWorm BAAIWorm天宝对于具身智能研究的意义 近年来,随着神经科学和人工智能技术的深度交叉融合,研究者们越来越多地尝试通过构建生物体模型来理解神经系统与行为之间的关系,并推动具身智能的研究。 生物智能无疑是人工智能研究的源头。BAAIWorm天宝通过高精度还原和模拟生物智能,为理解和探索生物启发的具身智能的核心机制提供了重要的实验平台。